Wallenberg sinh năm 1912 tại Kappsta, Lidingö, gần Stockholm, nơi ông bà ngoại của Wallenberg là giáo sư Per Johan Wising và vợ Sophie Wising, đã xây dựng một nhà nghỉ hè năm 1882. Ông nội của Wallenberg - Gustaf Wallenberg - là nhà ngoại giao đã từng làm việc ở Tokyo, Constantinopolis và Sofia.

Ông là con của Raoul Oscar Wallenberg (1888–1912), một sĩ quan Hải quân Thụy Điển và Maria "Maj" Sofia Wising (1891–1979) kết hôn năm 1911. Cha ông đã từ trần 3 tháng trước khi sinh ông vì bị bệnh ung thư. Năm 1918, mẹ ông tái hôn với Fredrik von Dardel (chết 1979);[8] họ có một con trai, Guy von Dardel, và một con gái, Nina Lagergren.

Năm 1931, Wallenberg sang học ngành kiến trúc ở Đại học Michigan tại Hoa Kỳ. Tại trường, ông học tiếng Anh, tiếng Đức và tiếng Pháp.[9] Ông dùng các kỳ nghỉ để tìm hiểu nước Mỹ. Mặc dù gia đình Wallenberg giàu có, nhưng ông cũng làm các việc vặt cho người khác trong những giờ rảnh. Ông theo các nam sinh viên trẻ khác làm người kéo xe chở khách ở Century of Progress tại Chicago.[10]

Khi trở lại Thụy Điển, ông thấy trình độ học ở Hoa Kỳ của mình chưa thể làm cho mình đủ khả năng làm nghề kiến trúc sư. Cuối cùng, người ông của Wallenberg thu xếp cho ông một việc làm ở Cape Town, Nam Phi, trong văn phòng một Công ty Thụy Điển bán những vật liệu xây dựng.[11] Từ năm 1935-1936, Wallenberg làm một chức nhỏ trong một văn phòng chi nhánh của Ngân hàng Hà Lan ở Haifa.[11] Ông trở lại Thụy Điển năm 1936 và kiếm được một việc làm trong "Central European Trading Company" ở Stockholm - một công ty thương mại xuất nhập khẩu giữa Thụy Điển và Trung Âu do Kálmán Lauer, một người Do Thái ở Hungary làm chủ, nhờ sự giúp đỡ của người chú (bác, cậu) và cha đỡ đầu là Jacob Wallenberg,[12].